想像你是一名裁縫，試圖將一件標準西裝（矩陣 $A$ 的值域）調整到一位身材獨特的客戶（向量 $b$）身上。無論如何調整袖子或腰圍（係數 $x$），這套西裝永遠無法完全貼合。你尋找的是「最佳」的折衷方案——一個 範數近似 能最小化每處接縫處的張力或「殘差」的方案。
數學框架
核心目標是找到一個向量 $x \in \mathbb{R}^n$，使得線性組合 $Ax = x_1a_1 + \dots + x_na_n$ 最佳地逼近 $b$。這通常被稱為 將 $b$ 對回自變數的迴歸 （即矩陣 $A$ 的各列）。
我們關注殘差向量 $r = Ax - b$。實際上，我們假設系統為 過定系統 其中 $m > n$。為什麼？因為當 $m = n$ 且 $A$ 為非奇異矩陣時，最優解僅為 $A^{-1}b$，產生零誤差——這對優化而言是平凡情況。
🎯 核心原則
範數近似問題（6.1）是一個 凸問題 且保證可解 可解。總會至少存在一個最優解 $\hat{x}$，能最小化目標與可達子空間之間的距離。
標準變體
根據我們希望懲罰的「類型」誤差，我們選擇不同的範數：
1. 最小二乘法（$\ell_2$ 範數）
最常見的方法。它最小化殘差平方和：$\|Ax - b\|_2^2$。對大偏差較敏感，但可透過法方程獲得解析解。
2. 切比雪夫／極小化最大值（$\ell_\infty$ 範數）
最小化 最大值 絕對殘差 $\max_i |r_i|$。當每一項測量都必須嚴格符合容許範圍時使用。可透過以下線性規劃（LP）求解：
最小化 $t$
受限於 $-t\mathbf{1} \preceq Ax - b \preceq t\mathbf{1}$
3. 絕對殘差之和（$\ell_1$ 範數）
最小化 $\sum |r_i|$。此方法對離群值具有強健性，因不對誤差進行平方。也可透過線性規劃求解：
最小化 $\mathbf{1}^T t$
受限於 $-t \preceq Ax - b \preceq t$
估計情境
在許多工程領域中，我們假設真實狀態 $x$ 受到雜訊影響：$y = Ax + v$。我們的目標是找出估計值 $\hat{x} = \text{argmin}_z \|Az - y\|$。透過選擇範數，我們實質上是在對雜訊 $v$ 的統計分佈做出假設。
\text{在 } u \in \mathcal{A} \quad (\text{其中 } \mathcal{A} = \text{Range}(A)) \text{ 的條件下，最小化 } \|u - b\|